IFK Göteborg được thành lập vào ngày 4 tháng 10 năm 1904 tại Café Olivedal ở quận Annedal của Linnéstaden, trung tâm thành phố Gothenburg.[2] Nó là tổ chức thứ ba, nhưng là còn lại duy nhất trong số các tổ chức được thành lập bởi hiệp hội IFK tại Gothenburg và là thứ 39 trong số tổng thể các tổ chức thể thao được thành lập bởi IFK.[3] Một ủy ban bóng đá đã được thành lập tại cuộc họp lịch sử đầu tiên. Trận đấu bóng đá đầu tiên của hiệp hội đã kết thúc với chiến thắng 4–1 trước câu lạc bộ khác của khu vực là IK Viking.[4] Nền móng của IFK Göteborg rất quan trọng đối với sự phát triển của bóng đá tại thành phố, vì cho đến thời điểm đó thì Örgryte IS là câu lạc bộ lớn nhất và chiếm ưu thế nhất tại Gothenburg. Với việc IFK Göteborg được thành lập sẽ giúp tạo ra những cuộc cạnh tranh cần thiết cho sự thúc đẩy bóng đá phát triển.[5]

Năm 1907, IFK Göteborg trở thành đội đầu tiên Thụy Điển chỉ bốn năm thành lập đã đánh bại Örgryte IS.[6] Sau đó, họ tiếp tục giành chức vô địch Thụy Điển đầu tiên vào năm 1908 bằng việc chiến thắng giải đấu cúp Svenska Mästerskapet, ba cầu thủ của câu lạc bộ đã được gọi vào đội tuyển quốc gia Thụy Điển.[6] Năm đó, IFK lần đầu tiên có trận đấu với một câu lạc bộ ngoài Thụy Điển, đó là khi họ gặp câu lạc bộ Đan Mạch Østerbro BK và Boldklubben af 1893.[6]

Năm 1910, lần đầu tiên các cầu thủ thi đấu với trang phục áo sọc xanh trắng.[7] Hai năm sau, câu lạc bộ đã có trận hòa 1–1 với đội tuyển olympic Thụy Điển 1912, và các tờ báo ở Stockholm đã gọi IFK Göteborg là "câu lạc bộ bóng đá Thụy Điển xuất sắc nhất từ ​​trước đến giờ".[8] IFK Göteborg vô địch Svenska Serien, giải đấu cao nhất của bóng đá Thụy Điển lúc bấy giờ, nhưng không phải là giải đấu quyết định của Giải vô địch bóng đá Thụy Điển, lần thứ năm liên tiếp vào năm 1917. Thời kỳ đầu, câu lạc bộ không có huấn luyện viên và phải đến năm 1921 họ mới có huấn luyện viên chính thức đầu tiên khi một bản hợp đồng có thời hạn hai năm được ký kết với huấn luyện viên người Hungary Sándor Bródy.[9] Giải đấu quốc gia chính thức đầu tiên của Thụy Điển Allsvenskan, bắt đầu vào cuối năm 1924, năm mà huyền thoại Filip Johansson ra mắt IFK Göteborg.[10] Câu lạc bộ mùa giải đó chỉ đứng ở vị trí thứ hai chung cuộc nhưng Johansson đã ghi tới 39 bàn thắng sau 22 trận, trở thành vua phá lưới giải đấu.[11]

IFK đã giành được danh hiệu Allsvenskan đầu tiên của họ vào mùa giải 1934–35, mười mùa giải trước đó câu lạc bộ đều cán đích ở vị trí tốp bốn chung cuộc.[12] Bóng đá Thụy Điển bị thống trị bởi các đội bóng tới từ Gothenburg trong những năm này,[13] nhưng IFK Göteborg đã xuống hạng một cách đầy bất ngờ vào mùa giải 1937–38,[14] mặc dù ngay lập tức họ trở lại Allsvenskan trong mùa giải tiếp theo. Trở lại hạng cao nhất, IFK tiếp tục kết thúc ở vị trí thứ hai, với việc giải đấu tiếp tục được tổ chức dù cho Chiến tranh thế giới lần thứ hai bùng nổ. IFK đã giành được một danh hiệu khác vào mùa giải 1941–42 với một đội hình mạnh,[14] nhưng giai đoạn còn lại của thập kỷ là kết quả hỗn hợp. Đội hình những năm 1940 bao gồm những cầu thủ tài năng như Gunnar Gren, người trở thành cầu thủ ghi bàn hàng đầu năm 1946, được trao giải Guldbollen (Quả bóng Vàng Thụy Điển), cầu thủ xuất sắc nhất Thụy Điển và cùng với đội tuyển bóng đá quốc gia Thụy Điển giành huy chương vàng Thế vận hội Mùa hè 1948.[15] Khi Gunnar Gren rời đi vào năm 1949, IFK đã rớt khỏi Allsvenskan ở mùa giải tiếp theo nhưng cũng chỉ sau đó một mùa họ đã trở lại giải bóng đá cao nhất Thụy Điển. IFK có lần đầu tiên thi đấu tại Cúp vô địch các câu lạc bộ châu Âu vào năm 1958 nhưng đã bị loại bởi SC Wismut ở vòng hai. Năm 1959, kỷ lục về một trận đấu ở Allsvenskan với 52.194 khán giả được thiết lập khi IFK gặp đội bóng cùng thành phố Örgryte IS tại sân vận động Nya Ullevi.[16]

Sau một thập kỷ không có duyên, IFK được dẫn dắt bởi huấn luyện viên và cựu cầu thủ bóng đá của đội là Bertil Johansson, người đã đưa câu lạc bộ đến danh hiệu vô địch một cách đầy kinh ngạc vào năm 1969.[14] Mùa giải tiếp theo là một trong những khoảng thời gian đen tối nhất trong lịch sử câu lạc bộ.[14][17] IFK đã xuống hạng và không giống như những lần xuống hạng trước đó, họ không trở lại Allsvenskan ngay lập tức. Sau ba mùa đá tại giải đấu chỉ cao thứ hai Thụy Điển, IFK đã mất đi niềm tin trở lại Allsvenskan.[18] Nhưng sau khi thành viên hội đồng quản trị Anders Bernmar cùng những người khác làm việc chăm chỉ để đưa câu lạc bộ đi đúng hướng, IFK đã được thăng hạng Allsvenskan vào năm 1976.[18] Năm 1979, IFK đã ký hợp đồng với huấn luyện viên Sven-Göran Eriksson.[19] Ông đã đưa ra đội hình 4-4-2 với "gây sức ép và hỗ trợ" được gọi là mô hình Swenglish,[20] điều mà đã tạo cho IFK thành công lớn sau này. Mùa giải đầu tiên, vị huấn luyện viên này đã đưa câu lạc bộ cán đích ở vị trí á quân Allsvenskan và có lần đầu tiên vô địch Cúp bóng đá Thụy Điển (Svenska Cupen).

Sau khi tăng cường sức mạnh với việc đưa về một số cầu thủ đắt giá[21] như Thomas Wernerson và Stig Fredriksson, câu lạc bộ tiếp tục giành vị trí Á quân Allsvenskan và lọt vào tới tứ kết UEFA Cup 1981. Năm 1982 sau đó trở thành một mùa giải sóng gió khi toàn bộ hội đồng quản trị được thay thế và câu lạc bộ gần như phá sản, thậm chí họ đã phải vay tiền từ hiệp hội ủng hộ chính thức để tới Valencia thi đấu trận tứ kết UEFA Cup.[22] Tuy nhiên, khi khó khăn IFK đã thắng mọi trận đấu mà họ tham gia từ trận play-off Allsvenskan, Svenska Cupen và đặc biệt là UEFA Cup, họ đã đánh bại Hamburger SV 4–0 sau hai lượt trận chung kết để vô địch.[23] Quãng thời gian 15 năm sau đó, IFK là câu lạc bộ hàng đầu của Thụy Điển[24] với 10 danh hiệu vô địch Allsvenskan, 3 lần giành Svenska Cupen và thêm một lần nữa giành UEFA Cup năm 1987 sau khi đánh bại Dundee United tổng tỉ số 2-1 sau hai lượt trận.

Ban huấn luyện đã đưa IFK trở thành một đội bóng mạnh với hai chiếc cúp vô địch quốc nội năm 1983 và 1984, cùng với chiếc cúp châu Âu danh giá năm 1983. Năm 1986, IFK có lần đầu tiên trong lịch sử vào tới tận bán kết Cúp C1 châu Âu, chỉ chịu thua Barcelona trong loạt đá luân lưu.[25] Một đội hình tài năng đã lại một lần nữa giành cả hai danh hiệu UEFA Cup và Allsvenskan vào năm 1987,[26] sau khi đánh bại Dundee United ở trận chung kết UEFA Cup. Huấn luyện viên đội trẻ là Roger Gustafsson sau đó đã tiếp nhận chiếc ghế huấn luyện viên chính thức từ người tiền nhiệm Gunder Bengtsson vào năm 1990 và khoảng thời gian đó của ông ở IFK rất thành công khi câu lạc bộ vô địch Allsvenskan năm lần trong khoảng thời gian từ 1990 đến 1995.[27]

UEFA Champions League 1992–93, IFK lần lượt vượt qua nhà vô địch Thổ Nhĩ Kỳ Beşiktaş ở vòng đầu tiên, nhà vô địch Ba Lan Lech Poznań ở vòng hai để chính thức có mặt ở vòng bảng dành cho tám đội xuất sắc nhất, nơi họ chám chán A.C. Milan, FC Porto và PSV Eindhoven. Tuy đứng thứ hai bảng đấu sau Milan nhưng với luật thi đấu chỉ có đội đứng đầu tiến vào trận chung kết nên IFK đành dừng bước. Khi IFK tiếp tục giành được Allsvenskan năm 1994, họ đủ điều kiện để tham dự Cúp châu Âu. Câu lạc bộ tiến vào vòng bảng UEFA Champions League, nơi họ đối mặt với những câu lạc bộ FC Barcelona, Manchester United và Galatasaray. Và việc sẽ sớm bị loại đã được dự đoán từ trước đó,[28][29] nhưng IFK Göteborg đã vượt qua với tư cách đầu bảng và tiến vào vòng đấu loại trực tiếp trước khi bị loại bởi Bayern Munich theo luật bàn thắng trên sân khách.

Những năm cuối cùng trước thiên niên kỷ mới đáng thật vọng với IFK Göteborg, tương phản rõ rệt với thành công trước đó.[30] Đội chỉ giành được huy chương bạc vào năm 1997 và vị trí thứ tám vào năm 1998 sau khi chiêu mộ một số cầu thủ đắt giá nhưng thi đấu không thành công.[30][31] Trong cả hai năm 1998 và 1999, câu lạc bộ đều thay huấn luyện viên vào giữa mùa giải, điều mà trước đây chưa từng xảy ra trong lịch sử câu lạc bộ.[30] Năm cuối cùng của thập kỷ kết thúc với vị trí thứ sáu chung cuộc. Thiên niên kỷ mới mang đến những kết quả khác nhau, câu lạc bộ xuống hạng năm 2002 nhưng là đối thủ đáng gờm với bất kỳ đội bóng nào cạnh tranh chức vô địch năm 2001, 2004 và 2005. Năm 2007, danh hiệu đầu tiên sau 11 năm được bảo đảm ở vòng cuối cùng Allsvenskan. Câu lạc bộ sau đó giành Cúp quốc gia trong mùa giải kế tiếp. IFK Göteborg vẫn được coi là một trong ba "gã khổng lồ" của bóng đá Thụy Điển cùng với Malmö FF và AIK Fotboll, mặc dù chỉ giành được danh hiệu Allsvenskan một lần trong suốt 20 năm qua.[25][32][33][2]